Physical, semantic and pragmatic levels for multimodal fusion and fission

International audienceMultimodal fusion is linked to the integration of information in human-machine interactive systems where several communication modalities are proposed to the user. It is mainly used in input, for instance when the user can interact with the system using speech and2D gestures. As a symmetric process, multimodal fission is linked to the repartition of information among several communication modalities. It is mainly used in output, and consists of one of the processes of an Intelligent Multi-Media Presentation System (IMMPS). We propose a unified vision of multimodal fusion and fission, where parameters for the first are exploited for the secondand vice-versa

A Characterization of Underspecified Anaphora and its Consequences on the Annotation of Anaphoric Relations

When resolving anaphora, the precise identification of the antecedent is sometimes difficult. In a first set of cases linked to abstract anaphora (“in that context”, “it happens”), the reason lies in the exact delimitation of the antecedent (previous verbal phrase? previous sentence? whole paragraph?). In a second set of cases, several concrete antecedents are possible and the hearer or reader cannot decide between them. Moreover, deciding is not mandatory to the comprehension of the utterance or discourse, and the antecedent can stay underspecified. This phenomenon can be called ‘underspecified anaphora', or anaphora with ‘fuzzy' or ‘vague' antecedent. We illustrate it with French data, and we propose a first classification of types of potential underspecified antecedent. We then deduce principles for their annotation

Vers l'évaluation de systèmes de dialogue homme-machine : de l'oral au multimodal

International audienceEvaluating human-machine dialogue systems is not so efficient, objective, and consensual than evaluating other natural language processing systems. Oral and multimodal dialogue systems are still working within reduced applicative domains. Comparative and normative evaluations are then difficult. Moreover, the continuous technological progress makes obsolete and numerous the evaluating paradigms. Some solutions are still to be identified to improve existing methods and to allow a more automatic diagnosis of systems. The aim of this paper is to provide a set of remarks dealing with the evaluation of multimodal spoken language dialogue systems. Some extensions of existing paradigms are presented, in particular DQR/DCR, considering that some paradigms fit better multimodal issues than others. Some conclusions and perspectives are then drawn on the future of the evaluation of human-machine dialogue systems.L'évaluation pour le dialogue homme-machine ne se caractérise pas par l'efficacité, l'objectivité et le consensus que l'on observe dans d'autres domaines du traitement automatique des langues. Les systèmes de dialogue oraux et multimodaux restent cantonnés à des domaines applicatifs restreints, ce qui rend difficiles les évaluations comparatives ou normées. De plus, les avancées technologiques constantes rendent vite obsolètes les paradigmes d'évaluation et ont pour conséquence une multiplication de ceux-ci. Des solutions restent ainsi à trouver pour améliorer les méthodes existantes et permettre des diagnostics plus automatisés des systèmes. Cet article se veut un ensemble de réflexions autour de l'évaluation de la multimodalité dans les systèmes à forte composante linguistique. Des extensions des paradigmes existants sont proposées, en particulier DQR/DCR, sachant que certains sont mieux adaptés que d'autres au dialogue multimodal. Des conclusions et perspectives sont tirées sur l'avenir de l'évaluation pour le dialogue homme-machine

De la saillance visuelle à la saillance linguistique

Salience phenomena put an element from a visual or linguistic message forward. By confronting works resulting from various research fields, and with the aim to apprehend salience as a general cognitive mechanism, we propose a classification of the factors that make an object salient in a visual scene. Then we apply this classification to language to get similar sets of linguistic factors. Some of them depend only on the characteristics of the message and its context (physical factors); other factors depend on the observer or listener (physiological and psychological factors); and other factors are cultural and reinforce their importance each time we are confronted to pictorial or literary masterpieces. Salience puts an element forward, but also ordinates the various elements in presence. It is then linked to the notion of hierarchy, which is essential in photographic composition, and for which we propose an analogy in linguistics. We then go deeper into our analogy with a comparison between writing and image design processes. Without going as far as homology, we show that visual salience and linguistic salience are two facets of the same concept, and that a multidisciplinary confrontation is able to give some light to definition and range problems.Les phénomènes de saillance mettent en avant un élément d'un message visuel ou linguistique. En confrontant des travaux issus de disciplines variées et avec le but d'appréhender la saillance comme un mécanisme cognitif général, nous partons d'une classification des facteurs qui rendent saillant un objet dans une scène visuelle pour aboutir à une classification similaire des facteurs de saillance linguistique. Certains de ces facteurs ne dépendent que des caractéristiques du message et de son contexte (facteurs physiques), d'autres dépendent de l'individu (facteurs physiologiques et psychologiques), d'autres encore sont culturels et se renforcent au fur et à mesure que nous sommes confrontés à des messages voire des œuvres picturales et littéraires. Si la saillance met en avant un élément, elle opère également un ordonnancement des différents éléments en présence. Elle est ainsi liée à la notion de hiérarchisation, notion essentielle dans la composition photographique et pour laquelle nous explorons une analogie en linguistique. Nous poursuivons alors cette analogie avec les processus de construction d'images et de textes. Sans aller encore jusqu'à l'homologie, nous montrons ainsi que saillance visuelle et saillance linguistique sont deux facettes d'un même concept, et qu'une confrontation pluridisciplinaire permet d'apporter un éclairage aux problèmes de définition et de portée

Je parle, donc je suis : le dialogue humain-machine est-il possible ?

International audienceDans son film "Her", Spike Jonze met en scène la communication entre un humain, Theodore, et un système d'exploitation qui se choisit le prénom de Samantha. Le film mettra l'accent sur la voix de Samantha pleine de charme et d'émotion, rendue avec talent par Scarlett Johansson dans la version originale. Les dialogues entre Theodore et Samantha ressemblent à s'y méprendre à des dialogues humains : les deux personnages discutent pendant des heures et Samantha montre des capacités de compréhension et de maîtrise de la langue infiniment meilleures à celles de votre ordinateur ou de votre smartphone, quelle que soit l'application que vous utilisez. Nous sommes bien en pleine science-fiction où ordinateurs, machines et robots parlent parfaitement depuis longtemps comme Robby, le robot de Planète interdite qui explique que « si vous ne parlez pas anglais, je suis à votre disposition avec 187 autres langues, leurs divers dialectes et idiomes » ou le fameux C3PO de Star Wars qui affirme maîtriser six millions de formes de communication. Quel humain peut en dire autant

Comment parler à un alien ?

The ConversationImaginez : un appareil étrange atterrit et des extraterrestres apparaissent. Le bureau des affaires spatiales de l'ONU est en effervescence : des spécialistes de physique, chimie, biologie, communication humaine et animale sont dépêchés sur les lieux. Parmi eux se trouve peut-être un ou une linguiste, pour l'instauration d'un premier contact. Mais comment poser une question-même simple-à des extraterrestres ? Par quoi commencer ? Comment ne pas faire d'impair ? En attendant que la situation se présente, de nombreux auteurs de science-fiction anticipent et explorent de multiples possibilités, portées parfois à l'écran comme dans le cas de Premier Contact de Denis Villeneuve (2016), film tiré du roman court L'Histoire de ta vie de Ted Chiang (1998). Voyons ce qu'une approche linguistique peut en dire

The Role of Gesture in Multimodal Referring Actions

When deictic gestures are produced on a touch screen, they can take forms which can lead to several sorts of ambiguities. Considering that the resolution of a multimodal reference requires the identification of the referents and of the context (“reference domain”) from which these referents are extracted, we focus on the linguistic, gestural, and visual clues that a dialogue system may exploit to comprehend the referring intention. We explore the links between words, gestures and perceptual groups, doing so in terms of the clues that delimit the reference domain. We also show the importance of taking the domain into account for dialogue management, particularly for the comprehension of further utterances, when they seem to implicitly use a pre-existing restriction to a subset of objects. We propose a strategy of multimodal reference resolution based on this notion of reference domain, and we illustrate its efficiency with prototypic examples built from a study of significant referring situations extracted from a corpus. We give at last the future directions of our works concerning some linguistic and task aspects that are not integrated here

Un cadre de conception pour réunir les modèles d'interaction et l'ingénierie des interfaces

National audienceWe present HIC (Human-system Interaction Container), a general framework for the integration of advanced interaction in the software development process. We show how this framework allows to reconcile the software development methods (such MDA, MDE) with the architectural models of software design such as MVC or PAC. We illustrate our approach thanks to two different types of implementation for this concept in two different business areas: one software design pattern, MVIC (Model View Interaction Control) and one architectural model, IM (Interaction Middleware)

De la coréférence exacte à la coréférence complexe : une typologie et sa mise en œuvre en corpus

International audienceL'annotation de la coréférence est une tâche délicate dès lors que l'on rencontre des expressions qui semblent référer à la même entité sans être exactement coréférentes. Il arrive parfois que le référent d'une expression soit difficile à identifier de manière précise. Dans ce cas, la coréférence avec une autre expression référentielle dont on a identifié clairement le référent ne peut pas être stricte. C'est le cas par exemple des anaphores à antécédent flou. Nous proposons ici une typologie des coréréfences non exactes, avec comme objectif d'en tenir compte d'une part lors de l'annotation de corpus en (co)références, d'autre part pour des applications de traitement automatique des langues